谁将会是AWS的颠覆者? (完整版)
【编者按】
抱歉,昨天(2018-01-16)发的文章漏了第2段,现在补上。如果您仔细看过昨天的文章,现在可直接阅读 "谁将会是AWS的颠覆者 之二" 这段即可。
杨岭是我比较敬重的一位朋友,在朋友圈或者微信群里,常能看到他的真知灼见。他在1月12日、13日朋友圈发的一个连载,让我产生了极大的兴趣。经作者授权,我集结成文,在微信公众号“乐生活与爱IT”分享出来,相信有很多朋友也会感兴趣,并从中获得启发。
---Begin---
谁将会是AWS的颠覆者 之一
(2018年1月12日)
作为云计算的从业者,我是Amazon Web service的忠实粉丝,长期以来也一直在思考云计算快速颠覆传统IT的原因,同时也在思考在计算基础架构(IaaS/PaaS)领域,谁能后来居上,超越AWS?
之前一段时间,有人提出Edge computing这种分布式计算架构,将会颠覆Cloudcomputing。原因是新型的基于物联网的AI应用,更关注在真实世界(Realworld) 的实时性能(Real time)的性能,由于Cloudcomputing是中心化的计算架构,天生就无法解决网络延迟和带宽的限制,因此未来的计算架构将会是Cloudcomputing + Edge computing的混合架构。
那么问题来了? Edge 是由多种异构硬件终端和异构计算模型构成的,如何统一管理,协调这些异构的计算资源便成为一个问题,如果每个应用的owner都自己去建设和管理自己Edge网络,会导致整个世界上有无数的Egde 网络,这些Edge各自独立运行,互联互通和资源的使用效率都会是大问题。
那么能不能找到一种模式,把全球的Egde节点通通联接到一个网络(资源池)中?能用统一的协议交互,并且能够快速、合理的调度和配置计算资源?
现在看起来Blockchain技术,将有可能成为这个网络的底层解决方案,并且目前市场上已经出现了几家基于以太坊技术提供云计算或者说雾计算的玩家:iexec,golem, sonm等。
今天时间有限,后续我会详细叙述,为什么基于区块链智能合约技术的分布式算力和存储的超级市场,有机会成为AWS的颠覆者。
谁将会是AWS的颠覆者之二
(2018年1月12日)
在开始文章内容前,我必须事先申明一下,我不是区块链从业者,我的工作也和区块链无关,迄今为止,我也从未投资或持有过任何一种加密货币,我写的这些东西,完全是作为一个IT从业人员的观察和思考,既不是收费的软文,也不是替区块链做宣传,更不是币市的投资建议,本文的内容也从未曾发表到任何媒体或自媒体平台,只是和朋友圈里的好友做些探讨和沟通,请大家理解……
因为一个很偶然的原因,我知道了一家的基于区块链技术的IaaS/PaaS提供商SONM,由于我本人一直在关心云计算领域的一些创新,就去看了他家的网站,结果他们网站的介绍和白皮书的内容,引起了我的强烈兴趣,于是我就花了几天时间对他们的产品路线和未来计划做了些了解,因此本文中,我会引用一些SONM网站、博客、白皮书、以及产品RoadMap计划中的内容,来阐述我的观点,当然SONM还是个初创公司,还在刚开始做MVP(最简化可工作产品)的原型测试阶段,因此请大家注意,我在本文提到的SONM的技术,很多都还未能实现,但这些并不妨碍我个人从技术和业务模式的角度对未来云计算的趋势做一些预判,另外由于我本人对很多云计算技术的了解都有限,也未能深入了解区块链的各种技术,因此本文一定有不少错误的地方,请各位好友海涵。
本文里,我会试图从基础技术实现和商业模型实现这两个角度分析基于区块链网络提供全球分布式IaaS/PaaS服务的可行性。
首先讨论一下SONM的基础技术实现。我们先回顾一下AWS的发展历程,AWS业务的本质可以简化为提供计算和存储能力的租赁服务。它采购大量的计算和存储单元,集中化的管理,并将计算能力和存储能力以API调用的方式出售给客户。而AWS最初的两个服务S3和EC2(存储+计算)是其最核心的基础服务。它以这两个服务为基石,研发出一系列产品或服务,快速拓展了全球WEB应用基础设施市场,成为目前年销售额近200亿美元的巨无霸。
那么我们来看看基于区块链网络的技术,是否能满足这两个基础服务的要求?我以SONM试图构建的IaaS/PaaS服务的项目为例,说明一下这个问题。
为达到这个目的,SONM首先需要构建一个能把所有消费者和生产者都加入的点对点区块链网络(基于以太坊技术),并且能够支持更多的消费者和生产者随时便利的加入该网络。用户的计算节点一旦加入这个网络,所有节点之间就能安全快速的相互传递讯息、传输数据以及支付和交易。然后网络中的任何一台计算设备,都可以具备为网络中的任一用户输出计算的能力,那么我们不妨把这些对网络中所有用户开放的计算单元(基于Docker封装隔离),看作为区块链世界的EC2。其次SONM可以使用类似IPFS,Storj这样的基于区块链的分布式存储技术,这种存储技术允许网络里的每个用户都能安全、快速,可靠的存取任意文件,而用户的文件则可能存储在区块链网络的任何一台计算设备上,因此可以把这种存储技术看成是区块链世界的S3。
当以上这些都具备了后,如果网络中有用户需要把自己的算力推向市场,他们可以把自己能提供的空闲计算资源的规格,数量,适合的任务类型通过分布式账本发布到全网,以告知所有网络用户。网络中的用户如果有计算资源的需求,则可以在网络中发布自己需要的计算资源的类型、数量和价格,而SONM的Marketplace模块则会根据供需双方的出价撮合交易,然后通过可编程的智能合约完成交易。网络中的算力供应商在收到智能合约后,自动把客户需求的算力释放出来,而SONM的HUB模块则负责把这些计算资源调度和分发给算力需求方,下面的几张图取自SONM的网站和白皮书,解释了这个工作模式的实现:
图一是SONM企图构建的全球分布式计算平台的体系架构示意图
图二是实现这个平台需要的不同层技术组件
图三是平台提供的服务分层示意图
图四描述了平台如何撮合交易的过程
图五则简单描述了分布式计算平台和Grid计算节点的工作机制
谁会是AWS的颠覆者 之三
(2018年1月12日)
限于本人的技术基础和精力都有限,就不再在本文中详细讨论SONM的底层技术具体实现,有兴趣的同学可以自行上网了解,他家官网:https://sonm.io,他家的代码也开源于Github上。如果有人怀疑这家公司是骗子,可以参加它的测试,也可以仔细看看他们的代码。
我个人认为,从技术角度看,实现SONM规划的这些功能虽然很困难,但并非是一个不可能完成的任务,况且有了这个思路和想法,一定会有一批公司试图尝试去构建类似的区块链应用,因此SONM能否活着走向成功虽然很难说,但或许会有其他幸运儿克服了各种难关笑到最后。
说了那么多SONM的好话,也谈谈这个平台架构可能会存在的缺陷,目前SONM依赖的是第二代区块链网络平台以太坊(Ethereum),以太坊虽然解决了一代网络的一些性能问题,但其性能依然很弱,比如前段CrytoKitties线上交易的火爆,导致了整个以太坊网络大面积阻塞,短时间里积压了两万多笔交易,虽然SONM在其全球计算架构设计中,计算资源的运行绕开了以太坊及其EVM(以太坊虚拟机),使得其平台中计算节点的性能基本接近于传统虚拟机,并且能跑各种通用应用,但其交易和撮合以及资源调度依然必须通过以太坊的智能合约实现,在网络规模大了以后,这会严重影响其性能。此外由于p2p网络自身的缺陷,对每个节点网络带宽的消耗极大,网络一旦变大,也会严重影响整个网络的通讯性能。
不过由于区块链技术依然在快速发展的阶段,且不说以太坊网络自身会持续改进,而且类似EOS,Cardano等新一代区块链技术也层出不穷,这些新技术致力于解决过去区块链网络的各种问题和瓶颈,诸如可扩展性(包括TPS问题、有限网络带宽问题和无限增长的数据量问题)、可互操作性、可持续发展性等问题。也许随着区块链技术逐渐的成熟,这种新型的基于区块链技术的IaaS/PaaS服务,才有机会真正走向成熟。
未来区块链技术究竟会发展到什么状况,现在我无法判断,但是区块链技术已经吸引了无数资金和码农的投入。前两天有消息称,Amazon正在考虑收购某区块链公司,甚至考虑发行自己的代币,而Facebook的小扎也发表声明2018会花精力在区块链上。至于IBM、微软,oracle这些老牌公司那都早已加入了区块链的战团,此外国内的阿里,百度,腾讯也都没有落后,纷纷推出基于区块链的产品或服务。这么多巨头都加入了,我觉得区块链技术大概率是个有前景的技术,因此至少我会持续关注区块链技术以及各种新型基于区块链技术应用的发展。
鉴于本文的篇幅已经太长了,只能再分一篇,下篇我会从商业模式的角度,分析基于区块链的网络,能否汇聚全球的Edge网络,成为全球分布式IaaS/PaaS服务提供商的可行性。
谁会是AWS的颠覆者 之四
关于商业模式变革 (2018年1月13日)
基于区块链网络的分布式IaaS/PaaS服务和AWS最大的区别,是算力和存储的供给方不同,前者是网络中任何一个愿意输出计算和存储能力的用户,而后者则是AWS自己。这个区别会导致这两个业务的商业模式有本质的不同,举个例子,如果把AWS这样的传统云计算公司比作传统汽车租赁公司的话,那么基于区块链的计算力和存储Marketplace,则可以比作是Uber和滴滴。
我们知道,一个Marketplace获得成功的核心要素有:
1、 能否汇聚大量需求和供给?
2、 能否快速匹配需求方和供给方?
3、 能否在增加供给的同时降低供给成本,从而催生更多的需求以进入良性循环?
Amazon的成功正是来源于:不断提升的客户体验和不断降低的成本!
Uber 的前任CEO曾提出,在Marketplace业务模型中,最重要的问题是解决有效供给。
因此我们先从供给和成本来分析这个业务模型。
由于近年全球加密货币的火热行情,全球投入的矿机算力已经达到了相当可观的数字,有人统计过,到2017年底全球有价值数十亿美元的矿机在网络上疯狂的挖矿,而且整个矿机市场还处于供不应求的状态。这种挖矿的火爆行情,甚至严重影响了显卡的市场供给,导致很多游戏迷不得不以翻倍的价格购买显卡。当然这些矿机中不少是用于开采比特币的ASIC专用矿机,并不适用于通用计算领域,但是依然有很大一部分矿机是通用设备,这些设备原则上能够跑各类通用应用。
我们试想一下这种情况,如果某一天加密货币市场泡沫破裂,币值持续暴跌,就会造成挖矿所需要的算力成本加电力成本要远远高于挖矿的收益,此时矿工们不得已会停止挖矿,并需要立刻找到算力的出售渠道。如果真出现这种情况,市场上就会突然涌现大量的廉价的算力,只要矿工们愿意把算力加入类似SONM的Marketplace平台出售,会在瞬间催生出庞大的供给,因此这部分算力的价格极有可能远低于AWS等传统云计算供应商的价格(AWS拥有很高的利润率)。这时候,全球几乎所有的云服务商都会感受到压力。当然初期,由于类似SONM的平台技术并未成熟,这些供给只能适合某些特定的应用,云服务商的主流客户不会立刻被吸引,但随着平台技术持续成熟,矿机的算力将会不断蚕食云服务商的市场份额。
然后让我们把目光看得更远一些,在区块链世界外部即传统世界里,有着非常多的私有数据中心,由于现代计算机体系架构的影响,这里面相当一部分的计算设备,是处于工作量不饱和的状态。再加上这几年AI和物联网的崛起,未来各种智能终端的数量会达到数百亿级,如果不能利用好这些终端的算力,会造成整个社会算力浪费巨大。
假设类似SONM的区块链网络平台,有能力将全世界闲置的算力汇聚并做到标准化输出,快速销售给需要廉价算力的客户。那么闲置算力的拥有者,一定会有兴趣加入,即便届时算力出售的定价远远低于现有的云服务商的标准价格,他们也会非常乐意(具体可参见AWS的spot instance价格有多便宜),因为对他们来说本来就是废物利用,何乐而不为?
然后我们再来看需求端的情况:
1、目前整个世界的数字化转型如火如荼,企业和机构都需要算力去持续改进他们的业务流程。
2、新型AI应用正快速发展,这些AI应用,往往都需要GPU的支持,(矿机强项)
3、无处不在的摄像头录制的视频和图像数据的处理(矿机强项)
4、大规模的科学计算(矿机强项)
5、互联网和物联网的快速发展,导致各种非结构化数据极速膨胀,而这些数据都有待于快速处理(矿机强项)
综上所述,全社会对计算能力的需求在快速增长,因此能充分利用闲置算力以降低成本的技术和业务模式,一定是值得期待的。
之前我曾经认真思考过AWS的颠覆者的问题,我认为Google,微软,阿里云等等,都是AWS的模仿者,他们和AWS属于同质化竞争,但在AWS已经取得了巨大先发优势时,追赶者后来居上的可能性不大。如果说AWS真有颠覆者,那么这个颠覆者和AWS的业务模型一定会有区别,而这种新业务模型会冲击AWS固有业务模型根基,使AWS很难效仿。从这点上来看,汇聚全球闲置算力的Marketplace业务模型,符合这个特点。
其实这种业务模型不是新鲜事,太阳微系统公司很早的那句“The network is the computer”说的就是这个意思,只是当年Grid Computing的各项技术都未能成熟。而如今区块链这种新型的P2P网络技术,能让网络中节点间计算力的交易成本大幅度降低;Container技术(异构系统间计算能力输出标准化)和网络带宽的不断提升,能有效降低计算力的交付成本。这才使得当年的口号有机会成为现实!伟大的SunMicrosystems
这篇谁会是AWS的颠覆者,就写到这里了。其实这些都只是我本人一些大胆的猜测和臆想而已。
喜欢的朋友可以点个赞,愿意探讨的朋友也欢迎和我沟通,不喜欢且认为通篇都是bullshit的朋友,你们大可当我说的都是废话,不理我即可:)
最后谢谢这些有耐心看我大段瞎扯的朋友们!祝大家2018大吉大利!
---End---
延伸阅读:
如果您对这个话题还有进一步的兴趣,欢迎您加入 "开放讨论群-SDS&云计算" 微信群,也可邀请其他感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号,建议添加管理员时,告知你的公司名和姓名,方便备注保存。
sdg8848
libo9538
yangzhuan
dts0103
微信公众号平台"乐生活与爱IT"在目前阶段,主要是分享软件定义存储(SDS),及VMware vSAN相关的文章,偶尔也会分享虚拟化、云计算、大数据、区块链等IT类文章,甚至生活类的好文章。欢迎投稿,特别是原创文章。如果原创文章属于首次发布,根据质量和阅读量的不同,能获得20~500元的稿费。我的QQ号:9269216。另外,如果还有赞赏收入,作者可获得60%。
欢迎对SDS感兴趣的朋友,加入软件定义存储讨论 QQ群:122295009,可下载原创的一些文章,及其他有参考价值的文档。可直接搜索群号,或者扫描如下二维码:
欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。
关注后,可以通过点击左下角的“文章目录”,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。
点击左下角“阅读原文”,可以跳转到微信公众号“乐生活与爱IT”的上一篇文章:《比特币到底是货币资产,还是骗局?》。